Er zijn 30 teksten geanalyseerd met een LLM, om erachter te komen welke verschillende onderwerpen in de teksten worden genoemd en hoe vaak.
Hierbij is een topic modelling-procedure is toegepast op basis van Wanrooij, Manhar, en Yang (2024) en Pham et al. (2023). Deze procedure bestaat uit 3 stappen:
Bij stap 1 worden de teksten aan het LLM gepresenteerd in willekeurig getrokken groepen van maximaal 5 teksten, met de vraag om te reageren met mogelijke onderwerpen die niet te specifiek en niet te algemeen zijn. Dit vorm de lijst van mogelijke onderwerpen. Voor deze stap is het model gpt-4.1-2025-04-14 gebruikt.
Bij stap 2 wordt de lijst van mogelijke onderwerpen gepresenteerd aan het LLM, waarbij gevraagd wordt de lijst onderwerpen terug te brengen naar een lijst onderwerpen zonder dubbelingen en ook weer zonder te specifieke of te algemene onderwerpen. Dit vormt de lijst van definitieve onderwerpen. Voor deze stap is het model gpt-4.1-2025-04-14 gebruikt.
Bij stap 3 wordt elke tekst individueel gepresenteerd aan het LLM, samen met de lijst van definitieve onderwerpen, met de vraag om deze toe te wijzen aan de tekst. Het LLM moest één onderwerp toewijzen per tekst. Voor deze stap is het model gpt-4.1-2025-04-14 gebruikt.
Met de teksten waaraan onderwerpen zijn toegevoegd, heeft een taalmodel (gpt-4.1-2025-04-14) tenslotte een rapport geschreven. Per onderwerp is met quotes samengevat wat er is gezegd.
Voor de toewijzing bij stap 3 is de interbeoordelaarsbetrouwbaarheid tussen het taalmodel en een menselijke beoordelaar berekend. Hiervoor is een willekeurige steekproef genomen van 10 teksten. De berekende interbeoordelaarsbetrouwbaarheid is 0.885 (Kappa; z = 7.518, p = 0). Dit valt te interpreteren als een zeer goede (‘almost perfect’) overeenstemming tussen het taalmodel en de menselijke beoordelaar (Landis & Koch, 1977).
Onderstaande tabel toont welke onderwerpen zijn geïdentificeerd en hoe vaak deze zijn genoemd in de teksten.
Onderstaande tabel toont per tekst welk onderwerp deze heeft gekregen.
Onderstaande paragrafen zijn de samenvattingen van de teksten per onderwerp.
De teksten laten verschillende positieve perspectieven op duurzaamheid zien. Enkele gebruikers benadrukken de algemene duurzaamheid van het product door te stellen dat "this product is very durable" en dat "You just cant break this product", waarmee zij aangeven dat het product stevig is en lang meegaat. Anderen benoemen de langdurige werking, zoals blijkt uit "it's been working perfectly for over a year now". Daarnaast wordt de bestendigheid tegen fysieke impact genoemd: "dropped it several times and it still works" wijst erop dat het product ook na meerdere valpartijen nog steeds functioneert. Deze perspectieven onderstrepen gezamenlijk een positieve ervaring met de duurzaamheid van het product.
De onderzochte teksten tonen negatieve perspectieven op duurzaamheid. In beide gevallen wordt benadrukt dat het product snel defect raakt, wat duidt op een gebrek aan duurzaamheid. Eén gebruiker merkt op: "i barely used it and it already stopped working", wat suggereert dat het product niet lang meegaat, zelfs bij beperkt gebruik. Een andere gebruiker geeft aan: "it broke the same day I bought it", waarmee wordt aangegeven dat het product al op de eerste dag kapotging. Beide ervaringen wijzen op ontevredenheid over de levensduur van het product.
De teksten belichten verschillende positieve perspectieven op gebruiksvriendelijkheid. Eén gebruiker merkt op dat het product "very easy to use" is, wat wijst op algemene eenvoud in het gebruik. Een ander geeft aan dat "the instructions were super clear", wat suggereert dat de handleiding bijdraagt aan de positieve ervaring. Ten slotte benoemt iemand dat hij of zij "figured it out without even reading the manual", wat aangeeft dat het product intuïtief is en weinig tot geen uitleg vereist. Deze uitspraken wijzen elk op een positieve beleving van de gebruiksvriendelijkheid vanuit verschillende invalshoeken.
De teksten tonen verschillende negatieve perspectieven op de gebruiksvriendelijkheid van het product. Eén tekst benadrukt dat het "onmogelijk te begrijpen" is hoe het product werkt, wat wijst op ernstige problemen met de begrijpelijkheid. Een andere tekst beschrijft het product als "zo confusing!!", waarmee wordt benadrukt dat gebruikers het verwarrend vinden. Tot slot wordt gesteld dat "zelfs tech-savvy people would struggle with this", wat aangeeft dat niet alleen onervaren gebruikers moeite hebben, maar zelfs mensen met technische kennis het product lastig te gebruiken vinden.
In de tekst wordt een positieve waardering gegeven aan de prijs van het product. Er wordt vermeld dat "this product is cheap", waarmee wordt aangegeven dat de prijs als laag en daarmee als gunstig wordt ervaren. Dit perspectief benadrukt de betaalbaarheid van het product als positief aspect.
De teksten laten positieve perspectieven zien op het gebied van waarde voor geld. Een gebruiker noemt het product "incredible value for money!", wat aangeeft dat men zeer tevreden is over de betaalde prijs in verhouding tot de ontvangen kwaliteit. Een ander noemt specifiek: "i got it on sale and it was totally worth it", waarbij de nadruk ligt op de extra goede waarde die men door een aanbieding heeft ervaren. Beide perspectieven illustreren tevredenheid met de prijs-kwaliteitverhouding.
De onderzochte teksten uitten negatieve perspectieven op prijs. Zo wordt aangegeven dat het product "way too expensive for what it offers" is en "definitely not worth the price tag". Daarnaast benadrukt iemand de onbetaalbaarheid door te stellen: "i couldnt afford this after 100 years of working." Deze uitspraken wijzen op teleurstelling en ontevredenheid over zowel het prijsniveau als de prijs-kwaliteitverhouding.
De teksten geven verschillende positieve perspectieven op klantenservice weer. Sommige respondenten benadrukken dat "the customer service was very helpful", wat wijst op een behulpzame houding. Anderen noemen de efficiëntie van de service: "they solved my issue in less than five minutes". Daarnaast wordt de deskundigheid en het geduld van de medewerkers genoemd: "the agent was patient and knowledgeable". Deze citaten illustreren positieve ervaringen met betrekking tot klantgerichtheid, snelheid en professionaliteit van de klantenservice.
De teksten geven verschillende negatieve perspectieven op de klantenservice. Eén persoon klaagt over het gebrek aan reactie van het bedrijf: "i sent a message to the company and they never replied". Een ander noemt een onaangename communicatie-ervaring: "i made a call asking for help, and they were very rude". Daarnaast geeft een derde persoon een algemeen negatief oordeel: "worst customer support experience ever". Al deze perspectieven wijzen op ontevredenheid met de klantenservice, variërend van het negeren van berichten tot onvriendelijkheid en een slechte algehele ervaring.
De verschillende teksten beschrijven positieve ervaringen met de verzending. Een perspectief benadrukt de snelheid van verzending, zoals blijkt uit de opmerking "the shipping was very fast". Een ander perspectief benadrukt de verrassend snelle levering met de uitspraak "the product was at my door before i blinked!". Ten slotte wordt ook genoemd dat het pakket "earlier than expected" arriveerde. Alle teksten benadrukken dus een snelle en efficiënte verzending.
In de verzamelde teksten over het onderwerp 'Verzending (negatief)' wordt vooral kritiek geuit op de levertijd. Zo wordt er gemeld dat "the product took 3 months to arrive", wat wijst op een negatieve ervaring met de verzendsnelheid. Deze perspectieven benadrukken teleurstelling over de lange wachttijd bij de ontvangst van het product.
In de onderzochte teksten over het onderwerp 'Ordertracking (negatief)' worden negatieve ervaringen met het volgen van bestellingen benoemd. Een belangrijk perspectief is dat de ordertracking als "inaccurate and confusing" wordt ervaren. Dit wijst erop dat gebruikers moeite hebben met het begrijpen van de informatie rondom hun bestellingen, en dat de betrouwbaarheid van het systeem tekortschiet.
Binnen de verzamelde teksten over het onderwerp ‘Verpakking (negatief)’ wordt een negatieve ervaring met de verpakking beschreven. Zo wordt er melding gemaakt dat “the package was damaged when it arrived”, wat duidt op ontevredenheid over de staat van de verpakking bij ontvangst. Dit perspectief benadrukt de impact van beschadigde verpakkingen op de ervaring met het ontvangen product.